RTFormer: Efficient Design for Real-Time Semantic Segmentation with Transformer

分享人：刘劲夫
研究方向：实时语义分割
论文题目：RTFormer: Efficient Design for Real-Time Semantic Segmentation with Transformer
论文作者：Jian Wang, Chenhui Gou, and Qiman Wu
作者单位：百度视觉技术部、澳大利亚国立大学
论文摘要：最近，基于Transformer的网络在语义分割方面显示出令人印象深刻的结果。但在实时语义分割方面，由于Transformer的计算机制耗时，纯基于CNN的方法仍占主导地位。我们提出了一种高效的实时语义分割双分辨率转换RTFormer，它比基于CNN的模型在性能和效率之间实现了更好的平衡。为了在GPU类设备上实现高推理效率，我们的RTFormer利用了GPU友好注意的线性复杂度，并抛弃了多头机制。除此之外, 我们发现，交叉分辨率注意通过传播从低分辨率分支学到的高水平知识，可以更有效地为高分辨率分支收集全局上下文信息。在主流基准上的大量实验证明了我们提出的RTFormer的有效性，它在CityScape、CamVid和COCOStuff上达到了最先进的水平，并在ADE20K上显示了有前景的结果。代码可在PaddleSeg: https://github.com/PaddlePaddle/PaddleSeg获得。
原文链接：

点击此处